最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。
translated by 谷歌翻译
异常模式检测旨在识别与正常偏差明显的情况，并且广泛适用于域。在现有技术中提出了多种异常的检测技术。但是，有一个常见的原则和可扩展的特征选择方法，以便有效发现。通常通过优化预测结果的性能而不是与预期的系统偏差来实现现有的特征选择技术。在本文中，我们提出了一种基于稀疏的自动特征选择（SAFS）框架，其通过特征驱动的大量比率的稀疏性编码系统的结果偏差。 SAF是一种模型 - 无可争议的方法，具有不同发现技术的可用性。 SAF在可在公开的关键护理数据集上验证时维持检测性能超过3倍，计算时间超过3美元。与特征选择的多个基线相比，SAF也会导致卓越的性能。
translated by 谷歌翻译
使用多种最先进的特征选择技术开发了自动特征选择管道，以选择用于区分护理模式（DPOC）的最佳功能。管道包括三种类型的特征选择技术;过滤器，包装器和嵌入式方法选择顶部K功能。使用具有二进制依赖变量的五种不同的数据集，选择了它们的不同顶部K最佳功能。在现有的多维子集扫描（MDS）中测试了所选特征，其中记录了最异常的亚步骤，大多数异常子集，倾向分数和测量的效果以测试它们的性能。将这种性能与在MDSS管道中数据集中的所有协变量中获得的四个类似的指标进行了比较。我们发现，尽管使用了不同的特征选择技术，但数据分布是在确定要使用的技术时注意的键。
translated by 谷歌翻译